#training-inference mismatch

On the Origin and Evolution of Training-Inference Mismatch in LLM Reinforcement Learning

LLM 强化学习中训练-推理失配的成因与修正

🧭 LLM 在线强化学习训练稳定性

George Washington University · Duke University

拆分数值偏差与策略滞后，提出 DLC 校正，稳定异步采样下 LLM 在线策略训练

📌 工作参考价值（3 点）

在线 RL 训练 LLM 推荐文案/对话 Agent 时，若推理引擎与 trainer 分离，先对每个 prefix 的 score 做 centering 再计算 advantage，可去除推理引擎数值差异带来的近固定偏差；类似 advantage normalization，但要按 prefix 而不是全局批量做。
对异步采样引入的 policy lag，不要只做 per-token importance weighting；持续监控重要性权重的 ESS，低于 0.5 时强制同步 sampler 权重。该阈值在 Qwen3-1.7B 上被验证为崩溃临界点，可作工程默认触发条件。
别只监控 sampler 端前缀上的 KL，它检测不到由滞后反馈导致的塌缩；建议增加与 on-policy baseline 的 KL 对比或 trainer 侧 KL 监控，并配置自动 resync。

Training | 2026-10-28 | HF Daily | score 7/10

分数中心化稳定离线策略强化学习

🧭 LLM 强化学习训练稳定性校正

Together AI

提出加性 score centering 校正项，抵消训练与推理引擎间的漂移，稳定 LLM 的 RL 训练

📌 工作参考价值（4 点）

在 RL 微调推荐/对话策略时，若部署推理引擎与训练引擎存在量化、KV cache 压缩或异步参数不一致，可在计算优势或回报时减去漂移项（如训练与推理引擎在同样本上的平均输出差异），低成本稳定训练，避免策略崩溃。
Score centering 是加性修正，可与 importance sampling 等乘法修正叠加；在离线策略数据来自旧策略或不同推理引擎时，组合使用可能比单用 IS 更稳健，尤其 mismatch 严重时。
对于生成式推荐（用 LLM 直接生成 item ID/文案），RL 训练中 reward 常由规则或模型给出，容易受采样分布偏移影响；考虑在 reward 或 advantage 上做 centering 来抵消环境漂移，可提升训练稳定性。
工程上：漂移估计可通过在固定验证集上比较训练和推理引擎的 logprob/奖励差异得到，开销很小；可作为 RL 训练 pipeline 的常规监控与校正组件。

Training | 2026-09-17 | cs.LG | score 7/10